Maestro: Reinforcement Learning to Orchestrate Hierarchical Model-Skill Ensembles
Maestro：强化学习驱动层次化模型-技能集成编排
🧭 多模态Agent · 模型-技能强化学习编排 ★ 深度解读
Tsinghua University · Zhejiang University · The Chinese University of Hong Kong · Nanyang Technological University · Tongji University
用 4B 编排器通过 RL 动态组合冻结专家与层级技能，在多模态基准上超越 GPT‑5 并实现即插即用扩展
📌 工作参考价值（4 点）
- 用 RL 训练编排策略取代硬编码路由：可借鉴到电商多智能体系统，让轻量级策略模型动态选择哪个 LLM 执行哪个工具，避免手工规则。
- 层次化技能库压缩动作空间：将细粒度技能组织为两级，编排器只选粗粒度 Level‑1 技能，内部再用关键词或模型分类路由到 Level‑2，降低搜索复杂度，适合大规模工具集管理。
- 即插即用扩展：新增专家模型和技能无需重新训练编排器，直接加入注册表即可提升性能，适合业务中不断引入新模型和工具的演进场景。
- 结果驱动的稀疏奖励设计：仅用答案正确性 + 格式惩罚训练，无需步骤级监督，实践上易于实现。格式奖励保证多步协议合规，避免生成混乱轨迹。